Effective Methods for Reinforcement Learning in Large Multi-Agent Domains

Robotic soccer requires the ability of individually acting agents to cooperate. The simulation league of RoboCup therefore offers an ideal testbed for evaluating multiagent methods. In this paper we discuss how Reinforcement Learning (RL) methods can be succesfully applied within the scenario of learning to cooperatively score a goal. Due to the complexity of the task, enhanced methods of learning have to be applied. We discuss several approaches from literature and also present an own approach. All approaches are evaluated on a discretized version of robotic soccer, which we call gridworld soccer. Zusammenfassung Eine wichtige Voraussetzung für erfolgreiches (Roboter-)Fußballspiel ist die Fähigkeit der einzelnen Agenten zur Kooperation. Damit stellt die RoboCup-Simulationsliga ein ideales Testszenario zur Evaluation von Multi-Agenten Lernverfahren dar. Dieser Artikel zeigt Möglichkeiten auf, wie Reinforcement Lernen erfolgreich eingesetzt werden kann, um den Agenten das gemeinsame Tore schießen beizubringen. Die hohe Komplexität dieser Aufgabe erfordert den Einsatz leistungsfähiger Lernmethoden. Im Artikel werden verschiedene aus der Literatur bekannte Ansätze diskutiert und ein neuer Algorithmus vorgestellt. Alle diese Verfahren werden in einer vereinfachten, diskretisierten Version des Roboterfußballs evaluiert.